WGAN（Wasserstein GAN）

概述

2017年提出的Wasserstein生成对抗网络，通过使用Wasserstein距离（Earth Mover距离）替代JS散度作为训练目标，有效解决了传统GAN训练不稳定和模式崩塌问题，提供了有意义的训练损失指标。

关键内容

1. 核心创新：WGAN用Wasserstein距离（也称Earth Mover距离）替代原始GAN中的JS散度作为分布相似性度量。Wasserstein距离即使在两个分布不重叠时也能提供连续的梯度信息，解决了传统GAN中梯度消失的问题。

2. 理论基础：WGAN基于最优传输理论，使用1-Lipschitz约束下的Wasserstein-1距离。通过Kantorovich-Rubinstein对偶性，将计算Wasserstein距离转化为求解一个优化问题：W(p_data, p_g) = sup_{||f||L ≤ 1} E{x~p_data}[f(x)] - E_{x~p_g}[f(x)]，其中f为1-Lipschitz函数。

3. 实现方法：WGAN将判别器（在WGAN中称为Critic）限制为1-Lipschitz函数，通过权重裁剪（weight clipping）、梯度惩罚（WGAN-GP）或谱归一化等方式实现Lipschitz约束。训练目标变为最大化 E_{x~p_data}[D(x)] - E_{z~p_z}[D(G(z))]。

4. 优势：WGAN提供了有意义的训练损失指标（Wasserstein距离的近似），训练更加稳定，几乎消除了模式崩塌问题，并且对超参数变化不敏感。判别器（Critic）的训练不再需要与生成器保持平衡，可以多训练几轮。

5. 影响：WGAN为后续的GAN改进方法奠定了基础，催生了WGAN-GP、SNGAN等一系列稳定GAN训练的方法，推动了生成模型的发展。

来源

• Arjovsky, Martin, Soumith Chintala, and Léon Bottou. "Wasserstein gan." ICML 2017 — 原始论文
• paper_08_gan.md — 源文件

相关

• 生成对抗网络（GAN） — extends
• Wasserstein距离 — uses
• 模式崩塌 — solves
• Ian Goodfellow — successor
• 生成器 — part_of
• 判别器 — part_of